いつどこで課金が発生してる？Amazon SageMakerの動きと料金体系をセットで考える

#Amazon SageMaker

#AWS

じょんすみす

2021.07.07

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

こんにちは、小澤です。

Amazon SageMaker(以下SageMaker)は「何ができるの？」と聞かれて一言で答えるのが難しいくらい、様々な機能が存在してます。「機械学習をするために必要な仕組みが一通り揃ってる」と言えるかもしれませんが、そもそも機械学習をするのにどんな要素が必要で、SageMakerの機能としてはどれが対応してるかの解説から始めると非常に長い話になってしまいます。

それとあわせて、どのタイミングで何が実行されるかもある程度分かっていないと当たりを付けるのが難しくなります。そこで、今回は「Amazon SageMakerの料金」ページに記載されている項目と、それらがいつ何に使われるかをセットで見ていきたいと思います。

料金 - Amazon SageMaker | AWS

何を解説するか

冒頭でも既述したように、SageMakerの全ての機能を解説しようと思うと非常に多くの要素が絡みます。そのため、料金ページに記載のある以下のコンポーネントを中心に解説します。

Studioノートブック
オンデマンドノートブックインスタンス
処理
Data Wrangler
Feature Store
トレーニング
リアルタイム推論
バッチ変換

無料と記載されている以下のコンポーネントについては、個別に解説することはしませんが、簡単に後述します。

SageMaker Pipelines
SageMaker Autopilot
SageMaker Experiments
SageMaker Debugger
SageMaker Model Monitor
SageMaker Clarify
SageMaker JumpStart

以下に関しては、料金情報が別ページとなっているため今回の対象外とさせていただきます。

SageMaker Ground Truth
SageMaker Edge Manager

SageMakerの基本を改めて確認する

まずは、今回解説する要素の関連性を確認しておきましょう。

SageMakerの歴史は3つのコンポーネントから始まりました。先ほどリストアップしたものとしては以下の3つです。

ノートブックインスタンス
トレーニング
リアルタイム推論

ノートブックインスタンスはJupyterを使った開発環境です。この環境を使って機械学習に必要なプログラムを実装していくところがSageMaker利用のエントリーポイントとなってるわけです。

クラウドの特性を活かしてよりコンピューティングパワーが必要な学習処理の実行はハイスペックなインスタンスで実行可能かつ、分散処理も実現できる形式として実装されています。

推論についても、本番環境で利用されることから常時リクエストを受け付けれる仕組みとして推論エンドポイントという形で実現されていました。

学習や推論については、あらかじめ用意されているコンテナイメージを使ってデプロイされる仕組みとなっており、その中に必要な処理を記述したスクリプトが含まれているか、実行時に渡す仕組みとなっています。また、SageMakerで利用可能なスクリプトを含むコンテナイメージを独自に作成して標準には含まれていないアルゴリズムを使った処理も実現可能になっています。

ノートブックインスタンスがSageMaker利用のエントリーポイントとなっていると解説しましたが、これらの仕組みから学習や推論エンドポイントの作成はノートブックインスタンスからのみに限らず任意の環境から個別に実行可能です。 SageMakerを使ったプログラムを実装するために利用するSageMaker Python SDKもpipからインストール可能になっています。

これがSageMakerのベースとなる仕組みです。この仕組みによって、EC2などを立てて環境を用意しなくても機械学習を行う環境がすぐに手に入るようになりました。

しかし、これらは機械学習のコアとなる部分ではありますが、実際に活用しようとなった際には検討しなければならない要素というは全体のほんの一握りにすぎません。

引用 : Hidden Technical Debt in Machine Learning Systems

これらの要素全体をカバーできるようにするために、SageMakerには様々なコンポーネントが追加されていきました。

そして、多くの要素が登場したことによって、それらを統合的に扱える仕組みも欲しくなります。それがSageMaker Studioの役割となるわけです。

Studioを中心として、様々なコンポーネントが利用可能になりました。その中で利用料金という観点で見たときにそれらはいくつかの種類に分けられます。

実行時にそれ自体がインスタンスを立ち上げて処理を行うもの
単独で機能するわけではなく他の要素との組み合わせてのみ使うもの

ここで挙げた要素のうち、前者が課金対象となっています。これには、ノートブックインスタンス、学習、推論といった最初から存在している要素も含まれています。

後者は無料となっているものが該当します。 AutopilotやPipelinesのような他のコンポーネントを呼び出す仕組みが前提となっているものや、 Model MonitorやDebuggerなどの処理を動かす対象に付随する要素が含まれます。

課金が発生するタイミングと料金体系

全体的な話

SageMakerの料金体系を理解するうえで、ほぼ全体共通と認識しておくと整理しやすい点があります。

課金対象となるのは利用者から立ち上がっていることが確認できるインスタンス
インスタンスタイプとサイズによって決まる時間課金

今回解説する範囲で唯一の例外はFeature Storeのみです。 SageMakerでは「ml」で始まるインスタンスを利用しますが2021年7月現在、時間あたりの料金は全てのコンポーネントで同じになっているようです。

続いて、個別の要素について見ていきます

ノートブック

ノートブックはStudioノートブックとノートブックインスタンスの2種類が存在します。これら2つの違いについて、機能的な部分もありますが、とりあえずまずは動かす場所の違いと思っておいていただければいいでしょう。

ノートブックインスタンスは、単体で動くJupyter環境です。インスタンスを複数作成すれば、それぞれが個別の環境として機能します。インスタンスは起動した段階から停止するまでの間、課金が発生します。インスタンスの起動・停止は明示的に行う必要があります。また、ノートブックインスタンスではストレージも確保した容量分課金されます。

StudioノートブックはSageMaker Studio上で動かすための仕組みです。 SageMaker Studioではノートブック起動時にインスタンスおよびカーネルの起動が行われます。

SageMaker Studioで起動したインスタンスはStudio内のメニューから停止できます。

そのため、ノートブック関連は

ノートブックインスタンスとStudioノートの2種類がある
それぞれ存在を確認できる場所が異なる
明示的に終了するまで課金が続く

となっています。

Data Wrangler

Data WranglerはGUIで操作する前処理の仕組みを提供するものです。 GUIで作成したものは .flow ファイルとして保存され、それをPythonスクリプトやノートブック形式に変換して利用します。

Data Wranglerに課金対象となる項目が2つあります。

Data Wranglerのフローを作成するためのもの
フローからコードへ変換するためのジョブ

フローを作成するためのインスタンスは、内容が記述されたflowファイルを開いた際に起動します。 Data WranglerはSageMaker Studio内からのみ利用可能なため、先ほどのStudioノートブックのインスタンス一覧と同じメニューから確認できます。こちらも停止する際は、メニューから手動で行ってください。

コードへ変換するためのジョブは実行したタイミングで起動して、終わった段階で自動的に停止するインスタンスとなります。そのため、こちらについては必要に応じて手動で停止するなどの操作は必要ありません。